1919年に発足したマルクス主義研究会が母体となって設立されました。1921年に国際共産主義組織の手動で、北京大学の教員や、図書館の関係者らが、各地で結成していた共産主義組織を統合し、日本の東京帝国大学への留学から中国に帰国した李漢俊が中心となって設立されました。このとき、元北京大学図書館司書として参加したのが、後に主席となる毛沢東でした。

中国共産党の党員は、毛沢東らを含めて、一時、中国国民党の党員でしたが、1927年の蒋介石によるクーデターの後、国共分裂が起き、国民党と対立することになります。また、ソ連におけるスターリン派とトロツキー派の抗争が中国共産党にも影響し、一部の中国共産党指導者は、トロツキー派の人間であるとされ、失脚してゆきました。そのような中で、毛沢東は都市部よりも農村に重点を置いて活動を行い、農民を対象とした共産主義の確立を目指していたと言われています。